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Raumliche BenutzunasschnittsteHe zur Steueruna eines 
Graphiksvstems der virtuellen Realitat mittels einer Funk tionsauswahl 

Beschreibunq 

Die vorliegende Erfindung betrifft allgemein Graphiksysteme fQr 
Anwendungen der virtuellen Realitat (VR) und im speziellen eine graphische 
Benutzungsschnittstelle zur Steuerung eines solchen VR-Graphiksystems 
mittels Interaktionen mit einer wenigstens zwei Funktionen bereitstellenden 
Funktionsauswahl und ein entsprechendes VR-Graphiksystem gemaS den 
Oberbegriffen der jeweiligen unabhangigen Anspruche. 

Ein hier betroffenes VR-Graphiksystem geht bspw. aus der DE 101 25 075 
A1 hervor und dient zur Erzeugung und Darstellung einer Vielzahl von 
raumlichen Ansichten, die gemeinsam eine sogenannte „Szene" darstellen. 
Die entsprechende Visualisierung einer solchen Szene erfolgt dabei meistens 
mittels der an sich bekannten Methode der stereoskopischen Projektion auf 
eine Leinwand oder dgl. Weit verbreitet sind sogenannte immersive VR- 
Systeme, welche eine intuitive Mensch-Maschine-(Benutzungs-)Schnittstelle 
fUr die verschiedenen Anwendungsbereiche (Fig. 1) bilden. Die genannten 
Graphiksysteme binden den Anwender bzw. Benutzer stark in die visuelle 
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Simulation mittels eines Computersystems ein. Dieses Eintauchen des 
Benutzers wird als „lmmersion" Oder Jmmersive Umgebung" bezeichnet. 

Durch die maBstabliche Darstellung dreidimensionaler Daten oder Objekte 
und die ebenfalls dreidimensionale Interaktionsfahigkeit konnen diese Daten 
oder Objekte weitaus besser beurteilt und erlebt werden, als es mit 
kiassischen Visualisierungs- und Interaktionstechniken wie bspw. mit einem 
2D-Monitor und einer entsprechend zweidimensionalen graphischen 
Benutzungsoberflache moglich ist. So konnen in der Produktentwicklung viele 
physisch-reale Modelle und Prototypen durch virtuelle Prototypen ersetzt 
werden. Ahnliches gilt fur Planungsaufgaben bspw. im Architekturbereich. 
Auch Funktionsprototypen lassen sich in immersiven Umgebungen 
wesentlich realistischer evaluieren, als es mit den kiassischen Methoden 
moglich ist. 

Die Steuerung einer solchen visuellen VR-Simulation erfolgt rechnergestutzt 
mittels geeigneter Eingabegerate (verallgemeinernd im folgenden als 
Jnteraktionsgerate" bezeichnet, da deren Funktion Qber die reine 
Dateneingabe deutlich hinaus geht), welche mit einer in die VR-Simulation 
vorQbergehend einblendbaren Benutzungsschnittstelle zusammenwirken. Die 
Interaktionsgerate verfOgen neben Tastern Qber einen mit einer in dem VR- 
Graphiksystem vorgesehenen Lageerfassungssensorik Qber eine Kabel- oder 
Funkverbindung zusammenwirkenden Lagesensor, mittels dessen die 
raumliche Position und Orientierung des Interaktionsgerats kontinuierlich 
gemessen werden konnen, urn die Interaktionen mit der 
Benutzungsschnittstelle in Abhangigkeit von der physischen Bewegung, 
Position und Orientierung des Interaktionsgerats im Raum auszufuhren. 

Eine entsprechende graphische Benutzungsschnittstelle ist bspw. in der DE 
101 32 243 A1 offenbart. Das dort beschriebene handgehaltene, kabellose 
Interaktionsgerat dient zur Erzeugung und Gbermittlung der von einem bereits 
genannten Lagesensor bereitgestellten Orts-, Lage- und/oder 
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Bewegungsdaten (d.h. r§umlichen Lagekoordinaten des Interaktionsgerats) 
und damit insbesondere zur virtuell-raumlichen Navigation in einer 
vorliegenden Szene. Die genannten Lagedaten umfassen die moglichen 
sechs Freiheitsgrade der Translation und der Rotation des Interaktionsgerats 
und werden zur Ermittlung einer Bewegungs- oder Raumtrajektorie des 
Interaktionsgerats rechnergestutzt in Echtzeit ausgewertet. 

Die in der DE 101 32 243 A1 beschriebene graphische 
Benutzungsschnittstelle umfafct insbesondere ein ebenfalls raumlich 
(stereoskopisch) visualisiertes MenQsystem, bspw. ein mittels Translations- 
und/oder Rotationsbewegungen des Interaktionsgerats steuerbares 
KugelmenD. Dabei erfolgt die Auswahl von Funktionen oder Menupunkten 
bspw. durch eine vom Benutzer durchgefOhrte Rotationsbewegung des 
Interaktionsgerats. 

Bei diesen Benutzungsschnittstellen ist es wiinschenswert, die genannten 
Interaktionen zur Bedienung bzw. Steuerung eines hier betroffenen 
Funktionsauswahl- oder MenOsystems insbesondere bei komplexeren 
Funktionsauswahlvorgangen in der Bedienung noch einfacher und intuitiver 
zu gestalten. Gleichzeitig soil aber auch ein moglichst hoher Grad an 
Bedienungs- und Betriebssicherheit gewahrleistet sein. 

Die erfindungsgema&e graphische Benutzungsschnittstelle zur Steuerung 
eines hier betroffenen Graphiksystems der virtuellen Realitat (VR) mittels der 
genannten Interaktionen umfasst ein funktionell und visuell aus wenigstens 
zwei miteinander zusammenwirkenden Teilelementen bestehendes visuelles 
Interaktionselement, wobei jedes dieser Teilelemente eine Funktionsauswahl 
mit jeweils wenigstens zwei Funktionen bereitstellt. Dieses wenigstens 
zweiteilige Interaktionselement ist bevorzugt in Form eines virtuell-raumlichen 
Menlisystems oder Funktionsauswahlsystems realisiert. 
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lm besonderen sind die wenigstens zwei Teilelemente mittels physisch- 
raumlicher Bewegung des Interaktionsgerats relativ ziieinander virtuell- 
raumlich beweglich ausgebildet, wobei eine genannte Funktions- Oder 
Menuauswahl mittels der relativ zueinander ausgefuhrten Bewegung der 
wenigstens zwei Teilelemente erfolgt. 

In einer bevorzugten Ausgestaltung wird wenigstens das erste Teilelement 
des zumindest vorubergehend in die Szene eingeblendeten visuellen 
Interaktionselements an einer zumindest zeitweise fixen Position innerhalb 
der Szene dargestellt, wobei wenigstens das zweite Teilelement uber eine 
physisch-raumlich erfolgende Bewegung des Interaktionsgerats relativ zum 
ersten Teilelement - ahnlich dem bekannten M Kimme-Korn w -Prinzip - sowohl 
funktionell als auch visuell virtuell-raumlich bewegt werden kann, um durch 
diese Relativbewegung zwischen den wenigstens zwei Teilelementen eine 
Funktion auszulosen. 

GemaS einer weiteren Ausgestaltung erfolgt diese Relativbewegung im Falle 
einer translatorischen Verschiebung in der Weise, daS es zumindest partiell 
zu einer ebenfalls in der Szene visualisierten Beruhrung oder Oberlappung 
zwischen den wenigstens zwei Teilelementen kommt, wodurch sich die 
genannte Funktions- oder MenOauswahl und damit insgesamt die Bedienung 
bzw. Steuerung der Benutzungsschnittstelle sehr intuitiv und daher auch 
benutzerfreundlich darstellt. 

In einer besonders vorteilhaften Ausgestaltung umfaBt das vorgeschlagene 
visuelle Interaktionselement drei Teilelemente, und zwar im Fall eines 
Kugelmenus eine einteilig ausgebildete innere Kugel, eine aus wenigstens 
zwei Kugelschalensegmenten gebildete, an der Oberfiache der inneren Kugel 
angeordnete Kugelschale sowie einen im AuBenbereich der Kugel bzw. 
Kugelschale angeordneten, aus wenigstens zwei Ringsegmenten 
bestehenden Ring. In dieser Ausgestaltung dient die innere Kugel zur 
Darstellung einer Zustandsinformation betreffend den momentanen Zustand 



WO 2005/029302 



5 



PCT/DE2004/002078 



des gesamten KugelmenOs, bspw. die momentane Position in einem 
Menubaum. D.h. die genannte Zustandsinformation gibt bspw. an, ob es sich 
bei durch die Kugelschalensegmente reprasentierten MenQpunkten urn ein 
HauptmenQ oder etwa ein dem HauptmenQ hierarchisch untergeordnetes 
UntermenQ handelt. Eine mittels des aufceren Rings auszulosende Funktioh 
wird in dieser Ausgestaltung bevorzugt durch Kontakt oder Oberlappung der 
inneren Kugel mit einem der wenigstens zwei Ringsegmente aktiviert. 

Bei der Bedienung eines solchen KugelmenOs konnen die 
Kugelschalensegmente durch eine benutzergefOhrte Drehung des 
InteraktionsgerSts entsprechend um die innere Kugel rotiert werden, um 
bspw. eine Oberlappung verschiedener Kugelschalensegmente mit den zur 
VerfGgung stehenden Ringsegmenten zu ermoglichen. Zur weiteren 
Vereinfachung einer solchen Steuerung ist gemaB einer weiteren 
Ausgestaltung eine winkelabhangige (bspw. in 30°-Schritten) f vom 
Rotationswinkel des Interaktionsgerats abhangige Einrastfunktion 
vorgesehen, so dafi sich die Kugelschalensegmente und die Ringsegmente 
immer eindeutig gegenGberstehen und demnach zweideutige lnteraktionen 
zwischen diesen Segmenten nahezu ausgeschlossen sind. 

Zur weiteren Erhohung des Bedienungskomforts kann zusatzlich vorgesehen 
sein, dali ab einem vorgebbaren Mali an TeilQberIappung/-berGhrung 
zwischen der inneren Kugel und dem Ring eine weitere Relativerschiebung 
aktiv unterbunden wird. Damit wird, zusatzlich zur genannten 
rotationsabhangigen Einrastfunktion, auch ein bei Translationsbewegungen 
der inneren Kugel erfolgendes Einrasten entlang des moglichen 
Verschiebewegs der Kugel ermoglicht. 

Um die genannten Translationsbewegungen der inneren Kugel in bezug auf 
den Ring noch intuitiver und damit benutzerfreundlicher zu gestalten, erfolgt 
die Verschiebung des Kugelelements zum Ringelement in einer weiteren 
Ausgestaltung derart, als ob die innere Kugel mit den einzelnen 
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Ringsegmenten liber gedachte Gummibander oder dgl. verbunden ware. 
Dadurch 1st ebenfalls in der Art einer Einrastfunktion gewahrleistet, daft die 
Translation der inneren Kugel auch immer gefuhrt oder sogar 
gezwungenermaBen zu einem bestimmten Ringsegment fQhrt, und nicht 
versehentlich ein etwa benachbartes Ringelement ang'esteuert werden kann. 

Die durch Rotations- und Translationsbewegungen erfindungsgemaiS 
ausgelosten Aktionen oder Funktionen konnen mittels empirisch vorgebbarer 
Schwellwerte so gesteuert bzw. ausgewertet werden, daS eine vom Benutzer 
ausgefOhrte physisch-raumliche Translations- oder Rotationsbewegung des 
Interaktionsgerats erst dann eine entsprechende Aktion oder Funktion 
auslfist, wenn die GroSe der Bewegung den jeweiligen Schwellenwert 
Oberschreitet. Dadurch lassen sich Fehlbedienungen, bspw. aufgrund von 
versehentlich erfolgten physischen Bewegungen des Interaktionsgerats, noch 
wirksamer verhindern. 

Die erfindungsgemafce Benutzungsschnittstelle kann ferner visuell in der 
Weise animiert dargestellt werden, dad bei der Bewegung des jeweils 
beweglich ausgebildeten Teilelements (bspw. der vorbeschriebenen inneren 
Kuge) oder im Falle einer Beriihrung/Oberlappung der wenigstens zwei 
Teilelemente (bspw. der vorbeschriebenen inneren Kugel mit dem aufceren 
Ring) eine Form- bzw. Gestaltanderung wenigstens eines dieser Teilelemente 
eintritt. 

Die genannten Funktionsablaufe der vorgeschlagenen 
Benutzungsschnittstelle konnen zudem mittels wenigstens eines an dem 
Interaktionsgerat angeordneten Steuerelements (Taster oder dgl.) unterstutzt 
werden. Bspw. kann mittels eines solchen Steuerelements nicht nurdas 
Einblenden des visuellen Interaktionselements in die jeweilige Szene 
ausgelost werden, sondern auch andere Funktionen wie bspw. eine 
Aktivierung der vorgenannten Beruhr-/Oberlappfunktion etc. Es versteht sich, 
dafi alternativ zu einem solchen Steuerelement auch die Sprache und/oder 
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Gestik/Mimik des Benutzers in an sich bekannter Weise ausgewertet werden 
kSnnen. So konnen die vorgenannten Funktionen bspw. durch einfache 
Sprachbefehle wie bspw. „Menusystem offnen", „Qberlappfunktion aktivieren" 
oder dgl. realisiert sein. 

In einer weiteren, besonders vorteilhaften Ausgestaltung kann vorgesehen 
sein, dali die genannte Beruhr-/Oberlappfunktion zusatzlich logische 
(Boorsche) Operationen umfafct, d.h. bei einer BerDhrung oder Oberlappung 
eines Teilelements mit einem bestimmten zweiten Teilelement der 
erfindungsgemaften Benutzungsschnittstelle wird eine bestimmte logische 
Operation ausgefuhrt, wobei eine erst durch die jeweilige logische 
Verknupfung gebildete Funktion, MenQauswahl oder dgl. ausgefuhrt wird. In 
dieser Weise laftt sich die erfindungsgemafte Benutzungsschnittstelle auch 
an sehr komplexe Funktionsablaufe anpassen. 

Die erfindungsgemade graphische Benutzungsschnittstelle bietet somit im 
Ergebnis den Vorteil, daft auch komplexe Interaktionen bspw. uber mehrere 
Funktions- oder Menliebenen hinaus sehr intuitiv, und zwar ausschlieftlich 
durch die genannten Bewegungsmodi (in den moglichen sechs 
Freiheitsgraden bzgl. Translation und Rotation) des Interaktionsgerats 
erfolgen konnen. Mittels der genannten Oberlappungs-/Beruhrungsfunktion 
wird insbesondere ein schnelles und sicheres Umschalten zwischen bspw. 
verschiedenen Unterfunktionen bzw. Untermenus einer Funktionsauswahl 
bzw. eines Menlisystems ermoglicht. 

GegenQber dem eingangs genannten Stand der Technik ist die 
erfindungsgemalie Benutzungsschnittstelle daher in der Handhabung 
einfacher und gleichzeitig sehr bediensicher in bezug auf mogliche 
Bedienfehler seitens eines Benutzers. Insgesamt wird demnach die virtuell- 
raumliche Navigation durch in die Szene eingeblendete unterschiedliche 
Funktions-/Menuebenen erheblich vereinfacht, und zwar auch ohne die 
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Verwendung eines im Stand der Technik haufig verwendeten, animiert 
dargestellten Zeigers. 

Die Erfindung ist mit den genannten Vorteilen sowohl bei VR- 
Graphiksystemen mit kabellosen sowie kabelgebundenen Interaktionsgeraten 
einsetzbar, die bevorzugt vom Benutzer handgefuhrt sind. Wie bereits gesagt, 
konnen dabei die moglichen Benutzerinteraktionen, neben der genannten 
Verwendung eines an dem Interaktionsgerat angeordneten Tasters, generell 
auch durch akustische oder optische Interaktionen bspw. Sprache, Gestik 
Oder dgl. unterstQtzt werden. 

Zudem versteht sich, dad es bei der vorgeschlagenen 
Benutzungsschnittstelle nicht darauf ankommt, welches der beiden 
Teilelemente gegenuber welchem relativ bewegt (d.h. transliert oder rotiert) 
wird bzw. welches in der bevorzugten Ausgestaltung jeweils fix und welches 
jeweils beweglich ausgebildet ist. 

Auch kann die Erfindung, anstelle eines vorbeschriebenen KugelmenQs, bei 
einem graphisch vollig unterschiedlich ausgebildeten Menusystem mit den 
genannten Vorteilen eingesetzt werden, sofern das Menusystem in der 
genannten Weise wenigstens zweiteilig ausgebildet ist. So kommt ein Einsatz 
bspw. auch bei raumlich-planar ausgebildeten Textmenusystemen oder dgl. 
in Betracht. Ferner versteht sich, daft ein vorbeschriebenes kugelformiges 
Meniisystem auch aus ellipsoiden oder sogar vieleckigen Raumformen 
gebildet sein kann. 

Die erfindungsgemalSe virtuell-raumliche Benutzungsschnittstelle wird 
nachfolgend in groSerem Detail anhand von in der Zeichnung dargestellten 
Ausfuhrungsbeispielen beschrieben, aus denen sich weitere Merkmale und 
Vorteile der Erfindung ergeben. Hierin sind identische oder funktional gleiche 
Merkmale mit ubereinstimmenden Bezugszeichen referenziert. 
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In der Zeichnung zeigen 

Fig. 1 eine vereinfachte Obersichtsdarstellung eines hier betroffenen 

immersiven VR-(Virtual-Reality)Graphiksystems gem§B dem 
Stand der Technik; 

Fig. 2a,b zwei schematisch dargestellte AusfUhrungsbeispiele der 
erfindungsgemalien virtuell-raumlichen 
Benutzungsschnittstelle; 

Fig. 3a-c eine perspektivische Ansicht eines bevorzugten 
Ausfuhrungsbeispiels der erfindungsgemafcen 
Benutzungsschnittstelle (hier: Kugelmenu) zur Verwendurig in 
einem in der Fig. 1 gezeigten VR-Graphiksystem (Fig. 2a) 
sowie zwei typische Interaktionsabfolgen (Fig. 3b und 3c) unter 
Verwendung der in der Fig. 3a gezeigten 
Benutzungsschnittstelle; 

Fig. 4 einen typischen Funktionsablauf bei der Steuerung einer 

erfindungsgemaBen Benutzungsschnittstelle anhand eines 
FluBdiagramms; und 

Fig. 5 einen gegenuber der Fig. 4 detaillierteren Funktionsablauf bei 

der in den Figuren 3a - 3c gezeigten Benutzungsschnittstelle. 



Das in der Fig. 1 schematisch dargestellte VR-Graphiksystem weist einen 
Projektionsschirm 100 auf, vor dem eine Person (Benutzer) 105 steht, um die 
dortige uber einen Projektor 110 erzeugte Szene 115 mittels einer 
stereoskopischen Brille 120 zu betrachten. Anstelle der stereoskopischen 
Brille 120 konnen vorliegend selbstverstandlich auch auto-stereoskopische 
Bildschirme oder dgl. zur Anwendung kommen. Zudem konnen der 
Projektionsschirm 100, der Projektor 110 sowie die Brille 120 vorliegend 
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durch einen an sich bekannten Datenhelm ersetzt werden, welcher dann alle 
drei Funktionen beinhaltet. 

Der Benutzer 105 halt ein Interaktionsgerat 125 in der Hand, um bevorzugt 
absolute Lagedaten wie die raumliche Position und Orientierung des 
Interaktionsgerats im physischen Raum zu erzeugen und an eine 
Lageerfassungssensorik 130 - 140 zu ubermitteln. Alternate kQnnen 
allerdings auch relative oder differentielle Lagedaten verwendet werden, 
worauf es in dem vorliegenden Zusammenhang aber nicht ankommt. 

Das Interaktionsgerat 125 umfaBt ein Lageerkennungssystem 145, bevorzugt 
eine Anordnung von optischen Messystemen 145, mittels derer sowohl die 
Absolutwerte der drei mSglichen Drehwinkel als auch die Absolutwerte der in 
den drei Raumrichtungen moglichen translatorischen Bewegungen des 
Interaktionsgerats 125 erfalit und von einem Digitalrechner 150 in der 
nachfolgend beschriebenen Weise in Echtzeit verarbeitet werden. Alternativ 
kcinnen diese Lagedaten mittels Beschleunigungssensoren, Gyroskopen oder 
dgl. erfaftt werden, welche dann i.d.R. nur relative oder differentielle 
Lagedaten liefern. Da es auf diese Sensorik vorliegend nicht ankommt, wird 
hier von einer eingehenderen Beschreibung abgesehen und auf die eingangs 
genannten Druckschriften verwiesen. 

Die genannten absoluten Lagedaten werden von einem mit dem 
Interaktionsgerat 125 verbundenen Rechnersystem erzeugt. Sie werden dazu 
an einen Mikroprozessor 160 eines Digitalrechners 150 Qbertragen, in dem 
unter anderem die notwendigen als dem Fachmann gelaufig anzunehmenden 
graphischen Auswerteprozesse zur Erzeugung der stereoskopisch- 
raumlichen Szene 1 15 ausgefuhrt werden. Die raumliche Szenendarstellung 
115 dient insbesondere der Visualisierung von Objektmanipulationen, der 
raumlichen Navigation in der gesamten Szene sowie der Darstellung von 
Funktionsauswahlstrukturen und/oder MenQstrukturen. 
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Das Interaktionsgerat 125 ist in dem vorliegenden AusfOhrungsbeispiel mit 
dem Digitalrechner 150 mittels eines dort angeordneten Empfangsteils 165 
Qber eine Funkverbindung 170 datenleitend verbunden. Die von den 
Sensoren 145 an die Lageerfassungssensorik 130-140 ubertragenen 
Lagedaten werden ebenfalis drahtlos per Funkstrecken 175-185 
ubertragen. 

Zusatzlich eingezeichnet sind die Kopfposition (KP) des Benutzers 105 sowie 
dessen Blickrichtung (BR) 190 auf den Projektionsschirm 100 bzw. die dort 
projizierte Szene 115. Diese beiden GrolJen sind insoweit fur die Berechnung 
einer aktuellen stereoskopischen Projektion von Bedeutung, ais sie die 
notwendige Szenenperspektive wesentlich mitbestimmen, da die Perspektive 
in an sich bekannter Weise auch von diesen beiden GroBen abhangt. 

Das Interaktionsgerat 125 umfaBt in dem vorliegenden AusfOhrungsbeispiel 
einen Taster 195, mittels dessen der Benutzer 105, zusatzlich zu den 
genannten Bewegungsmoglichkeiten des Interaktionsgerats 125 im Raum, 
eine bestimmte Interaktion auslSsen kann, wie nachfolgend anhand der Fig. 3 
beschrieben. Es versteht sich, daS alternativ auch zwei oder mehrere Taster 
angeordnet sein konnen, um ggf. weitere unterschiedliche Interaktionen zu 
ermoglichen. Anstelle eines oder mehrerer Tster konnen, wie bereits erwahnt, 
entsprechende Benutzereingaben auch mittels Sprache, Gestik oder dgl. 
erfolgen. In der Fig. 1 zusatzlich eingezeichnet sind die Kopfposition (KP) des 
Benutzers 105 sowie dessen Blickrichtung (BR) 190 auf den 
Projektionsschirm 100 bzw. die dort projizierte Szene 115. Diese beiden 
GroBen sind insoweit fur die Berechnung einer aktuellen stereoskopischen 
Projektion von Bedeutung, als sie die notwendige Szenenperspektive in an 
sich bekannter Weise wesentlich mitbestimmen. 

Das zentrale Element des gezeigten immersiven VR-Graphiksystems ist die 
mittels der Lageerfassungssensorik 130-140 gefuhrte (getrackte) 
stereoskopische Darstellung der jeweiligen dreidimensionalen Szenendaten 
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115. Die Perspektive der Szenendarstellung ist dabei vom Betrachter- 
Standpunkt bzw. von der Kopfposition (KP) und der Blickrichtung (BR) 
abhangig. Die Kopfposition (KP) wird dazu fiber ein (hier nicht dargestelltes) 
dreidimensionales Positionsmefcsystem kontinuierlich gemessen und die 
Geometrie der Sichtvolumina fur beide Augen entsprechend dieser 
Positionswerte angepafit. Dieses Positionsmellsystem umfaRt eine ahnliche 
Sensorik wie das genannte Lageerfassungssystem 130 - 140 und kann ggf. 
in dieses integriert sein. FGr jedes Auge wird ein separates Bild aus der 
jeweiligen Perspektive berechnet. Der Unterschied (Disparitat) bewirkt die 
stereoskopische Tiefenwahrnehmung. 

Als Interaktion vorliegend seitens eines Benutzers wird jede Aktion des 
Benutzers bevorzugt mittels des genannten Interaktionsgerats 125 
verstanden. UmfaSt sind dabei die Bewegung des Interaktionsgerats 125 
gemafc den Figuren 2a, 2b und 3a - 3c sowie die Betatigung eines oder 
mehrerer an dem Interaktionsgerat 125 angeordneten Taster 195. Zusatzlich 
umfaBt sein konnen akustische Aktionen des Benutzers wie bspw. eine 
Spracheingabe oder eine durch Gestik bestimmte Aktion. 

Die Figuren 2a und 2b zeigen zwei hier nur schematisch dargestellte 
Ausfuhrungsbeispiele der erfindungsgemaSen virtuell-raumlichen 
Benutzungsschnittstelle, anhand derer nur die grundlegende Funktionsweise 
der erfindungsgemaBen Benutzungsschnittstelle erlautert werden soil . 

Bei dem in der Fig. 2a gezeigten Ausfuhrungsbeispiel sind zwei in etwa 
quadratische Teilelemente 250 und 255 vorgesehen. Es versteht sich, daB 
diese schematisch sehr vereinfachte Darsteilung nur zur Illustration der 
grundlegenden technischen Konzepte dienen kann und diese Teilelemente im 
vorliegenden Anwendungsbereich der VR-Graphiksysteme vorzugsweise 
ebenfalls raumlich ausgeformt sein werden, bspw. als raumliche Wurfel, 
Quader, Kugeln oder dgi. Jedes der beiden Teilelemente 250, 255 weist in 
dem vorliegenden Beispiel vier fur Interaktionen insbesondere seitens eines 
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Benutzers zur Verfugung stehehde Aktionselemente auf, und zwar jeweils die 
Auftenseiten der beiden Quadrate. Zwei dieser Auftenseiten 260, 265 sihd in 
dieser Darstellung jeweils durch eine Doppellinie hervorgehoben. Durch die 
gestrichelten Pfeile 271 und 272 soil angedeutet werden, daft das 
Teilelement 250 bei der hier gezeigten Interaktion so gedreht 271 und 
verschoben 272 wird, daft die Auftenseite 260 an der Auftenseite 265 zu 
liegen kommt. Diese zweite Interaktionsphase ist in der unteren Halfte der 
Fig. 2a dargestellt. 

Das ZusammenfOhren der beiden Teilelemente 250, 255 an den beiden 
Auftenseiten 260, 265 lost nun eine nachfolgend noch detaillierter 
beschriebene Aktion oder Funktion aus. Die Aktion oder Funktion wird 
insbesondere dann ausgelost, wenn die Auftenseiten 260, 265 ein 
bestimmtes Maft der Annaherung erreicht haben oder erst wenn diese yirtuell 
(d.h. in der aktuellen VR-Szene) in Kontakt getreten sind. Es versteht sich, 
daft durch die anderen moglichen Interaktionen zwischen den ubrigen 
Auftenseiten der Teilelemente 250, 255 auch weitere Aktionen oder 
Funktionen ausgelost werden kQnnen. 

Bei dem in der Fig. 2b gezeigten Ausfuhrungsbeispiel ist das eine Teilelement 
wiederum quadratisch 270 geformt, wohingegen das zweite Teilelement 
durch einen in der Ausgangsposition des quadratischen Teilelements 270 
konzentrisch urn dieses angeordneten Ring 275 gebildet ist. Der Ring 275 ist 
in dem vorliegenden Beispiel in vier Segmente 275 unterteilt, wobei jedes 
dieser Segmente 275 einer eigenen Aktion bzw. Funktion zugeordnet ist. 

In diesem Ausfuhrungsbeispiel werden Interaktionen daduch ausgefuhrt, daft 
zunachst das quadratische Teilelement 270 in eine neue Lage (d.h. raumliche 
Orientierung) 280 gedreht wird. Danach wird das Teilelelement 270 durch 
eine den hier nur exemplarisch gezeigten beiden Bewegungspfaden 290 
entsprechende translatorische Bewegung entweder in die mit der ,1' (im 
runden Kreis) bezeichnete Position oder die entsprechend mit ,2' bezeichnete 
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Position verschoben. Im Beispiei ,1' gerat das quadratische Teilelement 270, 
280 an den jeweiligen Ecken 295, 295* (virtuell) in Kontakt mit dem gezeigten 
Ringsegment, wodurch eine Aktion bzw. Funktion ausgelost wird. In dem 
anderen Fall ,2' wird die Aktion bzw. Funktion erst dann ausgelost, wenn es 
zu einer gezeigten Oberlappung 285 zwischen den beiden Teilelementen 
270, 275 kommt. 

Es ist anzumerken, dad die beiden gezeigten Teilelemente in einer 
alternativen Ausgestaltung auch beide bewegt werden konnen, bspw. 
aufeinander zu. D.h. es kommt vorliegend ausschliefciich auf die gezeigte 
Relativbewegung zwischen den beiden Teilelementen an. Auch konnen die 
beiden Teilelemente von einem Benutzer sogar beidhandig gesteuert werden, 
wobei der Benutzer dann in jeder Hand ein eigenes vorbeschriebenes 
Interaktionsgerat halt. 

Die Fig. 3a zeigt perspektivisch dargestellt eine Ansicht eines bevorzugten 
Ausfuhrungsbeispiels der erfindungsgemafcen Benutzungsschnittstelle, und 
zwar vorliegend am Beispiei eines bereits eingangs beschriebenen 
Kugelmenusystems. Die nachfolgend beschriebenen Figuren 3b und 3c 
zeigen fur dieses Kugelmenusystem zwei typische Interaktionsabfolgen. 

In dem Ausfuhrungsbeispiel sei angenommen, dad das Interaktionsgerat zwei 
Tasten 195 (Fig. 1) aufweist, welche bevorzugt mit dem Daumen und 
Zeigefinger des Benutzers betatigbar sind. Diese beiden Tasten konnen auf 
zwei Arten verwendet werden, und zwar durch kurzes DrUcken (Klicken) und 
langeres GedrQckthalten (Halten). Mittels dieser zwei Aktionen ergeben sich 
insgesamt vier mogliche Interaktionen, d.h. in dem vorliegenden 
AusfQhrungsbeispiel: Klicken per Daumen = Abbruch, Klicken per Zeigefinger 
= Aktion, Halten per Daumen = Greifen und Halten per Zeigefinger = MenG. 
So erfolgt das Greifen eines graphischen MenQsystems durch Halten der dem 
Daumen zugeordneten Taste und das Halten des MenUs durch 
GedrQckthalten der Daumentaste. Bereits in die Szene eingeblendete 
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MenUsysteme lassen sich durch DrQcken und GedrOckthalten der 
Zeigefingertaste aktivieren. Das Verlassen Oder Abbrechen einer Funktion 
erfolgt durch einen Klick der Daumentaste. 

Wie aus der Fig. 3a zu ersehen, ist das vorliegende KugelmenOsystem 
dreiteilig aufgebaut und besteht aus einer inneren MenQkugel 200, 
welche eine bereits genannte Statusanzeige zur Anzeige des momentanen 
Zustandes des Menusystems in bezug auf die MenQhierarchie bereitstellt. Die 
innere MenQkugel 200 wird von einer vorliegend viergeteilten Kugelschale 
205 umgeben, mittels welcher per Rotation verschiedene Menueintrage des 
HauptmenQs („main M ), und zwar vorliegend die Eintrage „group", nSnap", 
„state" und „meas") aktiviert werden konnen. Weitere vier Menueintrage 
„work", jingle", „fly" und .^xtra 11 befinden sich auf vier entsprechenden 
Segmenten 210 eines auBeren Menurings. 

Das HauptmenQ („main") des vorliegend dreiteilig aufgebauten 
Kugelmenusystems 200 - 210 enthalt demnach acht unterschiedliche 
MenQeintrage, von denen vier Eintrage Ober eine Rotation (Drehung) des 
(hier nicht gezeigten) InteraktionsgerSts 125 und vier uber eine Translation 
(Verschiebung) des Interaktionsgerats 125 erreicht werden konnen. 

Bei einer physisch-raumlichen Drehung des Interaktionsgerats 125 aufgrund 
einer korrespondierenden Handbewegung seitens des Benutzers rotiert die 
innere MenQkugel 200 entsprechend. Ab einem Drehwinkel von vorliegend 
60° rastet die innere MenQkugel 200 mit einer gegenuber der vorherigen 
Orientierung um 90° verschobenen Orientierung ein, d.h. das M Spiel" der 
Einrastfunktion betrSgt vorliegend 30°. Dieses Einrasten wird in dem Beispiel 
durch Loslassen einer der beiden Tasten des Interaktionsgerats 125 aktiviert. 

Durch Verschiebung (Translation) der inneren Kugel 200 entlang einer von 
vier mittels „gummibandartiger" FQhrungen 215 vorgegebenen moglichen 
Translationspfaden 
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kann die innere Kugel 200 zu den vier ringformig angeordneten 
MenQeintragen 210 hin bewegt werden. Die dem jeweiligen Meniieintrag 210 
entsprechende Funktion wird dann aktiviert, wenn die innere Kugel 200 das 
jeweilige Ringsegment 210 beruhrt bzw. mit diesem liberlappt (Fig. 2c). 
Dadurch wird ein schnelles Umschalten zwischen verschiedenen Mentis oder 
Untermenus ermoglicht. 

In den Figuren 3b und 3c sind nun typische, jeweils mit Ziffernfolgen 1.-3. 
bezeichnete Abfolgen von Interaktionen im Falle einer Funktionsauswahl 
mittels einer Rotation der Kugelschale 205 und einer translatorischen 
Verschiebung der Kugelschale 205 illustriert. 

Im Falle einer reinen Rotation (Fig. 3b) wird zunachst eine der vorliegend 
zwei vorhandenen Tasten 195 des Interaktionsgerats 125 gedriickt und 
anschiiefcend gedriickt-gehalten, wodurch zunachst das Meniisystem in die 
aktuelle Szene eingeblendet wird. Danach wird das Interaktionsgerat 125 
vom Benutzer physisch gedreht. Ab einem Schwellwert fiir die physische 
Drehung des Interaktionsgerats, in dem vorliegenden Beispiel 30°, beginnt 
sich auch die innere Kugel 200 entsprechend zu drehen. Durch Loslassen der 
Taste 195 rastet die innere Kugel 200 bzw. Kugelschale 205 an dem jeweils 
nachstgelegenen Rastpunkt der 30°-Einteilung ein, womit in dem 
vorliegenden Beispiel die Einrastfunktion M snap" ausgewahlt wurde. 

Im Falle einer reinen Verschiebung (Fig. 3c) wird wiederum die Taste 195 
gedriickt und gedriickt-gehalten, womit zunachst das Meniisystem in der 
Szene erscheint. Durch eine physische Translationsbewegung des 
Interaktionsgerats 125 verschiebt sich die innere Kugel 200 samt Kugelschale 
205 solange, bis es zu einer Beriihrung bzw. Qberlappung mit einem der 
Ringsegmente 210 kommt. Sobald es zu dieser Beriihrung kommt, erscheint 
ein neues Menii bzw. Untermenii oder es findet eine vorgegebene 
Funktionsauswahl statt. Bereits die Translationsbewegung fiihrt zu der 
gezeigten Gestaltanderung der Kugellschale. Auch im Falle der Beriihrung 
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Oder Oberlappung zwischen der Kugel bzw. Kugelschale und dem jeweils 
betroffenen Ringsegment 210 kann die Kugelschale 205 entsprechend 
animiertwerden. 

Das voriiegende Ausfuhrungsbeispiel sieht ferner vor, dali ab einer 
bestimmten vorgebbaren Teiluberlappung bzw. Teilberuhrung zwischen der 
Kugelschale 205 bzw. der Kugel 200 und dem jeweils betroffenen 
Ringsegment 210 eine weitere Relativerschiebung zwischen diesen beiden 
Teilelementen unterdrQckt wird, was in etwa einem translationsbezogenen 
Einrasten entspricht. 

GemaB einer Variante kann vorgesehen sein, daft die in den Figuren 2b und 
3c gezeigte uberlappungsabhangige Interaktion bei Oberlappung zwischen 
einem MenUeintrag der Kugelschale 205 und einem MenOeintrag des Rings 
210 (Fig. 3c) so aktiviert wird, dafc die dabei zusammengefUhrten 
MenUeintrage gleichzeitig eine logische (BooPsche) Verknupfung ausfuhren. 
So kann etwa vorgesehen sein, daS die in der Fig. 3b gezeigte „snap"- 
Funktion bei einer Beruhrung oder Oberlappung mit einem der Ringsegmente 
210 entweder eine kombinierte jingle-snap 11 - oder „extra-snap"-Funktion 
aktiviert. Anstatt einer solchen .UNDWerknupfung konnen selbstverstandlich 
auch andere Verknupfungsarten wie .ODER' oder ,NICHT' vorgesehen 
werden. 

Die Fig. 4 zeigt nun anhand eines FluSdiagramms einen typischen 
Funktionsablauf bei der Steuerung der erfindungsgemalXen 
Benutzungsschnittstelle. Nach dem Start 300 der Routine wird zunachst in 
einer Schleife geprGft 305, ob ein bestimmter Taster des Interaktionsgerats 
125 betatigt wurde. 1st dies der Fall, werden die in den Figuren 2a und 2b 
gezeigten beiden Teilelemente 250, 255 und 270, 275 in die aktuelle VR- 
Szene eingeblendet 310. Andernfalls wird entsprechend der genannten 
Schleife der Schritt 305, ggf. nach einer gewissen Verzogerung, neu 
ausgefQhrt. 
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In Schritt 315 wird nun geprtift, ob eine mittels physischer Bewegung des 
Interaktionsgerats verursachte virtuelle Bewegung wenigstens eines der 
beiden Teilelemente 250, 255, 270, 275 in der Szene erfolgt ist. 1st Dberhaupt 
keine Bewegung jedes der beiden Teilelemente festgestellt worden, wird zu 
Schritt 310 zuruckgesprungen. Andernfalls wird entsprechend einer solchen 
Bewegung das jeweilige Teilelement in der Szene bevorzugt animiert 
dargestellt 320, urn die Bewegung (Rotation Oder Translation) auch visuell 
anzuzeigen. Im nachfolgenden Schritt 325 wird gepruft, ob die beiden 
Teilelemente 250, 255, 270, 275 bei der Bewegung in einen raumlichen 
Kontakt (oder in raumliche Nahe) getreten sind. Ist dies nicht der Fall, wird zu 
Schritt 310 zuruckgesprungen, urn die eben beschriebenen Schritte erneut 
durchzufUhren. Andernfalls wird, in Abhangigkeit vom jeweiligen 
Kontaktbereich bzw. den jeweils involvierten Ringsegmenten 275, eine 
bestimmte Aktion oder Funktion ausgelost 330. Schlielilich wird in Schritt 335 
gepruft, ob es sich bei der in Schritt 330 ausgelosten Funktion urn eine die 
gesamte Prozedur beendende Funktion handelt. Alternativ kann hier gepruft 
werden, ob der genannte Taster mit dem genannten Ziel der Beendigung 
erneut betatigt wurde. Ist dies der Fall, wird die Prozedur im Schritt 340 
beendet. Andernfalls wird zu Schritt 310 zuruckgesprungen, urn die 
vorbeschriebenen Schritte erneut auszufuhren. 

In der Fig. 5 ist schlieftlich ein typischer Funktionsablauf des in den Figuren 
3a - 3c dargestellten AusfOhrungsbeispiels der erfindungsgemafcen 
Benutzungsschnittstelle gezeigt. Nach dem Start 400 der gezeigten Routine 
wird in Form einer Schleife zunachst gepruft 405, ob ein (ggf. bestimmter) 
Taster 195 des Interaktionsgerats 125 (vorliegend die genannte 
Daumentaste) vom Benutzer betatigt wurde. Wird ein Betatigen des Tasters 
festgestellt, dann wird die Schleife verlassen und im nachsten Schritt 410 
vorliegend das vorbeschriebene Kugelmenlisystem 200 - 210 in die Szene 
eingeblendet. Nachfolgend wird geprUft415, ob das Interaktionsgerat 125 
eine benutzergefuhrte Rotation erfahren hat. Trifft diese Bedingung 415 zu, 
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wird nachfolgend noch gepruft 420, ob ein vorgebbarer Schwellenwert fur die 
Rotation (vorliegend 30°) bei der benutzergefiihrten Drehung des 
Interaktionsgerats 125 iiberschritten wurde. 1st auch diese Bedingung 420 
erfullt ist, wird die Kugelschale in die jeweils neue Winkelorientierung sowohl 
funktionell als auch visualisiert eingerastet 425. 

Falls keine Drehbewegung des Interaktionsgerats erfaBt wurde 41 5 oder im 
Falle einer erfa&ten Drehung die genannte Schwelle nicht iiberschritten 
wurde 420, wird zu Schritt 430 ubergegangen, in dem weiter gepruft wird, ob 
das Interaktionsgerat 125 (translatorisch) verschoben wurde. Trifft diese 
Bedingung 430 zu, wird eine entsprechend verschobene Kugei 200 oder 
Kugelschale 205 in der Szene bspw. in der in Fig. 2c gezeigten Weise 
animiert 435. Danach wird gepruft 440, ob eine Beruhrung oder Clberlappung 
der inneren Menukugel 200 und einem der auBeren Ringsegmente 210 
erfolgt ist. Ist dies der Fall, wird in Schritt 445 eine dem uberlappten 
Ringsegment 210 zugeordnete Funktion oder Menuauswahl aktiviert bzw. 
ausgelost. 

Ist die Bedingung 430 allerdings nicht erfullt oder ist im Falle des Erfulltseins 
dieser Bedingung 430 die Bedingung 440 nicht erfullt, dann wird zu Schritt 
450 gesprungen, in dem gepruft wird, ob die in Schritt 445 ausgeloste 
Funktion eine die gesamte Prozedur beendende Funktion ist mit der Absicht, 
das KugelmenUsystem wieder aus der aktuellen Szene auszublenden. 
Alternativ kann hier gepruft werden, ob der Taster erneut betatigt wurde oder 
dgl. Trifft schlieBlich diese Bedingung 450 zu, wird die Routine beendet 455 
oder zu Schritt 41 5 zuruckgesprungen, urn erneut eine Interaktion in der 
vorbeschriebenen Weise zu detektieren. 
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Patentanspruche 

1 . Graphische Benutzungsschnittstelle zur Steuerung eines 

Graphiksystems der virtuellen Realitat (VR) mittels lnteraktionen mit 
einer wenigstens zwei Funktionen bereitstellenden Funktionsauswahl, 
wobei das VR-Graphiksystem eine Projektionseinrichtung zur 
Visualisierung einer virtuell-raumlichen Szene aufweist und wobei die 
lnteraktionen mit dem VR-Graphiksystem mittels wenigstens eines 
Interaktionsgerats erfolgen, welches im Zusammenwirken mit einer 
Lageerfassungssensorik zur Erfassung einer jeweiligen physisch- 
raumlichen Position und/oder Orientierung des Interaktionsgerats zur 
Bereitstellung von Lagedaten in dem VR-Graphiksystem dient, 
gekennzeichnet durch ein funktionell und visuell aus wenigstens zwei 
jeweils eine genannte Funktionsauswahl bereitstellenden 
Teilelementen gebildetes Interaktionselement, wobei die wenigstens 
zwei Teilelemente mittels physisch-raumlicher Bewegung des 
Interaktionsgerats relativ zueinander virtuell-raumlich beweglich 
ausgebildet sind und wobei eine genannte Funktionsauswahl mittels 
der relativ zueinander ausgefuhrten virtuell-raumlichen Bewegung der 
wenigstens zwei Teilelemente erfolgt. 

2. Benutzungsschnittstelle nach Anspruch 1 , dadurch gekennzeichnet, 
dalS wenigstens eines der Teilelemente zumindest zeitweilig an einer 
im wesentlichen fixen Position der virtuellen Szene dargestellt wird, 
wobei die genannte Funktionsauswahl durch eine virtuell-raumliche 
Relativbewegung des jeweils anderen Teileiements in bezug auf das 
zumindest zeitweilig an der fixen Position dargestellte Teilelement 
erfolgt. 

3. Benutzungsschnittstelle nach Anspruch 1 oder 2, dadurch 
gekennzeichnet, dalS die Funktionsauswahl bei der Relativbewegung 
der wenigstens zwei Teilelemente zueinander bei einer wenigstens 
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partiellen Beruhrung Oder Oberlappung zwischen den wenigstens zwei 
Teilelementen ausgelost wird. 

4. Benutzungsschnittstelle nach einem der Anspruche 1 bis 3, dadurch 
gekennzeichnet, daB das wenigstens zweiteilige interaktionselement 
in Form eines Menusystems, eines Funktionsauswahlsystems oder 
dgl. realisiert ist. 

5. Benutzungsschnittstelle nach Anspruch 4, dadurch gekennzeichnet, 
daB das Interaktionselement durch ein drei visuelle Teilelemente 
umfassendes KugelmenOsystem gebildet ist, welches eine einteilig 
ausgebildete innere Kugel, eine aus wenigstens zwei 
Kugelschalensegmenten gebildete, an der visuellen Oberfiache der. 
inneren Kugel angeordnete Kugelschale sowie einen im AuBenbereich 
der Kugel bzw. Kugelschale angeordneten, aus wenigstens zwei 
Ringsegmenten bestehenden Ring umfaBt, wobei die innere Kugel zur 
Darstellung einer Zustandsinformation betreffend den momentanen 
Zustand des Kugelmenusystems bereitstellt. 

6. Benutzungsschnittstelle nach Anspruch 5, dadurch gekennzeichnet, 
daB die Zustandsinformation die gemaB einem Menubaum bei den 
Kugelschalensegmenten momentan aktivierte Menuebene angibt. 

7. Benutzungsschnittstelle nach Anspruch 5 oder 6, dadurch 
gekennzeichnet, daB die Kugelschalensegmente durch eine 
benutzergefUhrte Drehung des Interaktionsgerats entsprechend urn 
die innere Kugel rotierbar sind, urn eine Aktivierung verschiedener 
Kugelschalensegmente zu ermoglichen. 

8. Benutzungsschnittstelle nach einem der vorhergehenden AnsprOche, 
dadurch gekennzeichnet, daB eine vom Rotationswinkel des 
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Interaktionsgerats und/oder des jeweiiigen Teilelements abhangige 
Einrastfunktion vorgesehen ist. 

9. Benutzungsschnittstelle nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daB eine aufgrund einer physischen 
Rotationsbewegung und/oder physischen Translationsbewegung des 
Interaktionsgerats zu bewirkende Interaktion erst bei Gberschreiten 
eines empirisch vorgebbaren Schwellwerts eine entsprechende 
Interaktion ausgelost wird. 

10. Benutzungsschnittstelle nach einem der AnsprOche 3 bis 9, dadurch 
gekennzeichnet, daB ab einem vorgebbaren Ma& an Oberlappung 
oder Beruhrung zwischen den wenigstens zwei Teilelementen eine 
weitere funktionelle und/oder visuelle Relativerschiebung zwischen 
den Teilelementen unterbunden wird. 

1 1 . Benutzungsschnittstelle nach einem der vorhergehenden AnsprOche, 
dadurch gekennzeichnet, daB die Relativverschiebung zwischen den 
wenigstens zwei Teilelementen gefuhrt erfolgt. 

12. Benutzungsschnittstelle nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daR die visuelle Darstellung wenigstens 
eines der Teilelemente bei einer Rotation und/oder einer Translation 
und/oder einer Beruhrung in der Szene in animierter Form erfolgt. 

1 3. Benutzungsschnittstelle nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daB das Interaktionsgerat wenigstens em 
Steuerelement aufweist, mittels dessen die genannten 
Funktionsablaufe der Benutzungsschnittstelle zumindest unterstutzt 
werden. 
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14. Benutzungsschnittstelle nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft die genannten Funktionsablaufe der 
Benutzungsschnittstelle anhand von Spracheingabe und/oder . 
Erfassung von Gestik oder Mimik des Benutzers unterstUtzt werden. 

1 5. Benutzungsschnittstelle nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dali die genannte Beruhrungs- oder 
Oberlappungsfunktion wenigstens eine logische Operation umfaRt. 

16. Graphiksystem der virtuellen Realitat (VR), aufweisend eine 
graphische Benutzungsschnittstelle nach einem der vorhergehenden 
Anspruche. 
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Fig. 2b 
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